Năm 1954, quân Pháp thất bại trong trận Điện Biên Phủ và Hiệp định Geneve được ký kết. Lo ngại trước viễn cảnh những người Cộng sản kiểm soát hoàn toàn miền Bắc, Giám mục Lê Hữu Từ, Phạm Ngọc Chi và nhiều chức sắc Công giáo khác đã lãnh đạo gần một triệu giáo dân di cư vào Nam.

Ngày 5 tháng 1 năm 1957, do sự đề cử của Khâm sứ Tòa Thánh Caprio tại Sài Gòn, ông được Tòa Thánh đặt làm Đặc ủy Tông tòa chuyên trách về Công giáo Tiến hành Việt Nam. Ngày 5 tháng 7 năm 1957, Tòa Thánh bổ nhiệm ông làm Giám quản Ðịa phận Qui Nhơn và ngày 24 tháng 11 năm 1960, trở thành Giám mục chính tòa Qui Nhơn khi giáo phận này được thành lập.

Ba năm sau, ngày 18 tháng 1 năm 1963, Giáo hoàng Gioan XXIII ký sắc lệnh tách Ðà nẵng ra khỏi Giáo phận Qui Nhơn và bổ nhiệm ông làm giám mục tiên khởi của giáo phận mới. Ông từng đảm trách vai trò Phó chủ tịch Hội đồng Giám mục miền Nam Việt Nam.